Balade autour des scores Metacritic des consoles récentes

Les utilisateurs sont-ils de plus en plus durs?

Toutes les données ont été récuppérées sur Metacritic dans la dernière semaine de Février 2023.

On regardera les consoles suivantes :

CSV Files import and generation

And further data manipulations. We will add some meaningful columns to the data frames (see comments in the code).

On crée df_games2 qui ne contient que les jeux ayant à la fois une note globale utilisateur et une note globale de critique

We create df_games2 that only has games that have both a official critic and a user score.

df_meta2 holds "official" critics published on metacritic. One row per game, per platform, per critic.

The df_critic2 table holds information about critics.

Finalement, une table des développeurs

Exploration de la base de donnée des jeux

C'est sur ce dernier ensemnble que nous allons faire nos constats.

Par curiosité, on peut voir le cycle de vie des différentes plateformes, en regardant le nombre de jeux sortis par année. On regarde d'abord le nombre de fiches sur MC pour cette plateforme, par année, puis le nombre de fiches ayant des notes critiques et utilisateurs (donc encore une fois celles sur lesquelles on va pouvoir faire notre enquête plus poussée)

Juste pour s'amuser : à quoi resemble le cycle de sortie au cours d'une année (i.e on regarde le nombre de jeux sortis par mois, toutes années confondues, par console)

Ici un graphe qui montre la distribution des scores Meta pour chaque console. Ça se ressemble. Seule petite tendance qui se dégage : les consoles les plus récentes (Series X et PS5) ont une distribution de notes favorisant les notes hautes (sans doutes que le shovelware n'est pas encore arrivé !). (Pour information, la limite droite de chaque boite indique le 3ème quartile, c'est à dire que 25% des notes sont supérieures)

Regardons maintenant les notes utilisateurs moyenne pour chaque jeu de chaque plateforme. On voit que ça tire bien plus vers le bas !

Et représentons maintenant, pour chaque console, les distributions de notes Meta et des notes utilisateurs côte à côte pour se rendre compte de la situation... On dirait que plus la console est récente, plus les notes sont sévères. Ou alors les consoles nintendo sont relativement épargnées.

On voit notamment pour chaque console Sony et Microsoft que la médiane des notes utilisateur (le trait horizontal dans chaque boîte) est bien plus bas que pour les notes Méta.

Si l'on regarde, toutes consoles confondues, comment sont réparties les notes utilisateur moyennes et les notes MC moyennes pour chaque jeu, on voit deux distributions qui apparaissent décalées. On remarque aussi quelques points d'accumulation - par exemple la note "50%" semble souvent utilisée par la utilisateurs, mais pas spécialement par la critique. La note de 80% est aussi populaire chez les deux, et c'est d'ailleurs la plus courante pour les notes MC.

On affiche la distribution des ratios "nombre de critiques / nombre de revues utilisateur". On voit que la grande majorité des ratio est inférieure à 1, montrant qu'il y a plus de participation des utilisateurs. On pourrait parler du pic de la distribution (du mode) pour avoir une idée du ratio moyen.

Ça penche à !droite Ça qui confirme ce qu'on a vu avant - il y a plus de jeux qui sont surestimés par la critique que l'inverse. Les notes utilisateurs sont en moyenne inférieur aux notes Critique.

Regardons maintenant par jeu. Ça risque d'être touffu, mais voici comment nous allons représenter cela.

Chaque point du graphe représente une jeu, sur une platefome.

La ligne grise représente X=Y, c'est à dire que si un jeu a la même note utilisateur que critique, alors il sera sur cette ligne.

Ainsi, si un jeu a une note utilisateur inférieure à la note critique, il va se retrouver en dessous de la ligne blanche (et si c'est l'inverse, autrement dit les utilisateurs ont été plus généreux que les critiques, il sera au dessus de cette ligne blanche).

Comme attendu, on a plus de jeux en dessous qu'au dessus.

Intéressant aussi de regarder comment cela change en fonction des plateformes.

Enfin, j'ai ajouté une information : la taille du cerle représente le ratio entre le nombre de critique utilisateur et le nombre de critiques méta. Ce ratio est égal à 1 si on a le même nombre, et sera supérieur à 1 si il y a plus d'utilisateurs ayant laissé une note qu'il y a de notes de critiques. Le but de ce cercle est de montrer les cas de "review bombing", i.e. quand une armée d'utilisateurs se mettent à faire la revue d'un jeu.

Voici d'ailleurs comment sont repartis les ratio : en général, on est proche de 1, mais il y a toute une franche de revue où les utilisateurs s'en sont donnés à coeur joie.

On affiche maintenant le même graphe mais pour les notes utilisateurs. Comme on pouvait s'y attendre, les notes sont plus basses en moyenne.

En revanche, ce graphe montre quelque chose de fascinant : les points qui surnagent au dessus de la mélée sont des jeux assez... particuliers. On voit que ce n'est que pour certains jeux ou certaines séries (Dynasty Warrior par exemple) que les utilisateurs se donnent la peine de faire du bruit sur MC.

Et voici un graphe de tous les jeux en fonction de leur offset, au cours du temps.

En rouge, une droite de regression qui indique une tendance au cours du temps : la valeur du offset augmente (ce que montrait plus simplement le graphe précédent). En passant le curseur sur les points, on peut voir de quel jeu il s'agit.

Et voici la synthèse - évolution de l'offset moyen, tous jeux comfondus, par année.

On a vu dans les graphes précédents que ce paramêtre dépendait beaucoup des plateformes et du cycle de vie de ces dernières. On observe bien une tendance vers l'augmentation de ce derniers - i.e. des scores utilisateurs moyens qui ont tendance à être plus sévères que les scores des critiques.

Parlons Critiques (ceux avec un site)

Comme le montre la table ci dessous, nous avons 327 critiques officielles ayant émis au moins un avis

Et voici comment se répartissent les critiques. En couleur, on montre la note moyenne (pas de tendance qui se dégage)

On peut regarder, pour chaque critique, comment se répartissent leurs notes.

On voit ici deux publications ayant choisi des notes tous les 10 points, et une autre (IGN) qui semble avoir un système hybride - ou peut être ayant changé.

Le graph suivant indique, pour chaque Critique (par exemple FNintendo, Gamekult...) la note moyenne récuppérée sur Metacritic vs l'offset moyen (c'est à dire la différence moyenne entre la note donnée aux jeux par la critique et la note donnée par les utilisateurs de Metacritique)

La taille des points indique le nombre de jeux évalués par cette critiques sur Metacritic.

On note un outlier interessant dans le coin inférieur gauche - GameKult qui a tendance à noter les jeux plutôt bas, et à être moins généreux que les utilisateurs. C'est rare ! On voit ici que le nuage de points est autour de l'axe x=5, ce qui montre qu'en général, les sites sont plus généreux de 5 points que les utilisateurs.

Parlons des développeurs

2660 développeurs dans la base, le plus prolifique étant Capcom. Gardons en tête que chaque console est comptée individuellement (donc un jeu sorti sur 4 consoles est compté 4 fois), et que certains développeurs ont changé de nom au cours du temps (UbiSoft, EA Sports...)

Voici le même tableau, en séparant par plateforme.

Regardons par exemple tous les titres de From Software

On peut regarder les développeurs ayant les plus forts offset, c'est à dire le plus grand décallage moyens pour leurs jeux entre la note Meta et la note utilisateur.

Un peu comme les jeux plus tot, regardons les développeurs - note Meta moyenne vs. note utilisateur moyenne, en affichant leur 'ratio' moyen (c'est à dire à quel point les revues pour ce développeurs sont susceptibles de recevoir un afflux d'utilisateurs)

Regardons l'évolution des notes Méta et utilisateurs pour les titres de certaines compagnies.